Variable selection in model-based clustering: A general variable role modeling

The currently available variable selection procedures in model-based clustering assume that the irrelevant clustering variables are all independent or are all linked with the relevant clustering variables. We propose a more versatile variable selection model which describes three possible roles for each variable: The relevant clustering variables, the irrelevant clustering variables dependent on a part of the relevant clustering variables and the irrelevant clustering variables totally independent of all the relevant variables. A model selection criterion and a variable selection algorithm are derived for this new variable role modeling. The model identifiability and the consistency of the variable selection criterion are also established. Numerical experiments highlight the interest of this new modeling. Key-words: Relevant, redundant or independent variables, Variable selection, Model-based clustering, Linear regression, BIC ∗ Université Paris-Sud 11,Projet select † INRIA Saclay Île-de-France, Projet select, Université Paris-Sud 11 ‡ UMR AgroParisTech/INRA MIA 518, Paris § URGV UMR INRA 1165, CNRS 8114, UEVE, Evry Sélection de variables pour la classification non supervisée par mélanges gaussiens : une modélisation générale du rôle des variables Résumé : Les procédures de sélection de variables actuellement disponibles en classification non supervisée par mélanges gaussiens supposent que les variables non significatives pour la classification sont toutes indépendantes ou sont toutes liées aux variables significatives. Nous proposons un modèle de sélection de variables plus général qui permet pour chaque variable d’être une variable significative pour la classification, d’être non significative mais dépendante d’une partie ou de toutes les variables significatives ou d’être non significative et indépendante des variables significatives. Le critère de sélection de modèles et l’algorithme de sélection de variables sont établis pour cette nouvelle modélisation. L’identifiabilité des modèles et la consistance du critère de sélection sont également établis. Des exemples numériques mettent en évidence l’intérêt de cette nouvelle modélisation. Mots-clés : Variables significatives, redondantes ou indépendantes, Sélection de variables, Classification non supervisée, Mélanges gaussiens, Régression linéaire, BIC Variable selection in model-based clustering: A general variable role modeling 3